Do Similarity Measures Measure Similarity? How User Activity Creates Phantom Correlation in Recommender Systems
相似度度量真的在度量相似度吗？用户活跃度如何在推荐系统中制造幻影相关
🧭 推荐系统 · 物品相似度 · 活跃度偏差 ★ 深度解读
University of Antwerp
证明 item-item 相似度中存在由用户活跃度差异而非共同偏好导致的幻影相关，并用 Rasch 模型量化其占比
📌 工作参考价值（4 点）
- 在电商/广告的 item-item 相似度或召回中，先拟合单维活跃度 Rasch 模型作为 baseline，把 raw lift/cosine/Pearson 与 activity baseline 做残差或标准化，避免把高频用户带来的共现误判为偏好。
- 理解相似度度量的 popularity baseline 形状：lift/PMI 在稀有 item 上天然偏高，cosine 在热门 item 上天然偏高。排序聚合相似度时，热门 item 会获得与偏好无关的 head start，需要显式去偏或改用残差相似度。
- 工程上可用历史长度方差快速判断幻影相关风险：若 Var(history length) 远大于 Σ p_i(1-p_i)，活跃度异质性会贡献大量 item 协方差；在 top-N 截断或固定长度数据上该现象会减弱，评估离线数据时注意数据生成机制。
- 对 EASE/SLIM 等学习到的相似度矩阵同样适用；真实偏好主要存在于偏离 activity baseline 的 pair 排序中，而不是绝对相似度值。构建生成式推荐或 Semantic ID 时也应先去除活跃度混杂。